#Multi-Reward RL

3 篇

Each Reward to Its Relevant Tokens: Reward-Specific Token-Level Credit Assignment for Multi-Reward RL

多奖励 RL 的逐奖励 Token 级信用分配

🧭 多奖励 RL 令牌级信用分配 ★ 深度解读

University of Minnesota · National University of Singapore · University of Illinois Urbana-Champaign · University of Southern California · University of Pennsylvania

用 verifier 信息 self-replay 定位每个 reward 的相关 token，把 advantage 按相关性重分配，加速并提升多奖励 RL

📌 工作参考价值（4 点）

对电商/Agent 里带多个可验证约束的生成任务（商品文案、广告标题、工具调用、SQL/API 生成），把每个 reward 的 advantage 按 self-replay 的相关性分配到 token，而不是整段均匀；尤其格式类 reward 只落在标签/keyword/CTA 等少数 token，能显著加快收敛。
若 verifier 有可文本化信息（参考 query、执行 error、约束条件），可直接复用 MRTPO 的 leave-one-out replay：同一条 response 在 P_all 和 P_\k 各 forward 一次，用 next-token 分布的 JS 距离得到 token 权重；无需额外模型或标注，成本只比 GDPO 多 10–20%，且只在 reward 组内有方差时 replay。
β=0.5 是不错的默认值，前 10 步 smoothstep warmup；保留 1−β 的均匀份额避免重分配过激，并可对 reallocated part 做二阶矩约束。这个方法正交于 SAW/DVAO 等 response 级 reward reweighting，可以叠加。
做 prompt 约束（如“必须包含关键词、以某句结尾、加双引号”）时，直接去掉单个约束 replay 能定位到 checker 实际读取的 token；对 IFBench 这类未见约束泛化提升最明显，适合冷启动或模板频繁变化的场景。

Training | 2026-10-15 | HF Daily | score 8/10

Make Sparse Rewards Count: Density-Aware Reward Aggregation for Multi-Reward RL

让稀疏奖励起作用：多奖励 RL 的密度感知奖励聚合

🧭 多奖励 RL 的密度感知聚合

University of Chinese Academy of Sciences · University of Minnesota Twin Cities · University of Wisconsin–Madison · Stony Brook University · Kuaishou Technology

提出 DARA，通过逆平方根密度校正放大稀疏奖励的信号，加速多奖励 RL 训练且不改变策略优化目标

📌 工作参考价值（4 点）

多目标 LLM 后训练中，若直接对多个 reward 求和或平均，稀疏目标（如格式合规、工具调用、长度合规）容易被稠密目标淹没。可仿照 DARA 在 GRPO/GDPO 实现中按 batch 内每个 reward 非零优势的比例动态计算权重，对稀疏目标施加 inverse-square-root 加权，无需人工反复调 reward coefficient。
监控每个 reward 的 advantage energy 或 active-group density，可以量化判断哪些目标学习停滞；当某个目标 density 骤降时自动提高其聚合权重，比训练后看指标再手动调参更早发现信号失衡。
DARA 只改 reward aggregation，不改变底层 policy optimization objective 或梯度计算，可作为即插即用模块嵌入现有 RLHF/GRPO 流程，工程风险低；只需在 batch 内按 reward 保存 group-level advantages 即可计算 density。
对电商 Agent、对话式推荐、商品文案生成等需要同时满足「格式/调用/质量」等多约束的 LLM 应用，稀疏约束信号密度很低，DARA 的密度感知聚合能减少达到高合规率所需训练步数，降低迭代成本。

Training | 2026-09-29 | HF Daily | score 7/10

Multi-Reward RL GRPO Reward Aggregation Advantage Energy Density-Aware LLM Post-training

GD^2PO: Mitigating Multi-Reward Conflicts via Group-Dynamic reward-Decoupled Policy Optimization

GD^2PO: 通过组动态奖励解耦策略优化缓解多奖励冲突

🧭 LLM多奖励RL训练的冲突过滤 ★ 深度解读

Alibaba · Renmin University of China · Peking University · ETH Zürich · The Chinese University of Hong Kong

提出冲突感知过滤与查询级重加权机制，防止多奖励RL训练中梯度抵消，显著提升工具调用和对齐性能。

📌 工作参考价值（4 点）

多目标优化中，用硬过滤（符号一致性）或信噪比过滤（SNR）剔除梯度方向冲突的样本，避免优势项正负抵消，可用于推荐系统中同时优化点击率、转化率、多样性等目标。
引入查询级重加权动态调整更新量：根据一个 query 下留存非冲突样本的比例自动降权，类似推荐中根据用户信号质量调整学习率。
SNR 一致性比率公式简单，可作为训练中实时监控指标，检测多目标间的冲突程度。
方法对阈值不敏感，超参数鲁棒性强，适合在线学习场景，可直接集成到基于 GRPO 的推荐策略优化中。

RecSys | 2026-06-14 | HF Daily | score 8/10

Multi-Reward RL Conflict Filtering SNR GRPO Tool Calling Helpfulness-Safety